The central question in representation learning is what constitutes a good or meaningful representation. In this work we argue that if we consider data with inherent cluster structures, where clusters can be characterized through different means and covariances, those data structures should be represented in the embedding as well. While Autoencoders (AE) are widely used in practice for unsupervised representation learning, they do not fulfil the above condition on the embedding as they obtain a single representation of the data. To overcome this we propose a meta-algorithm that can be used to extend an arbitrary AE architecture to a tensorized version (TAE) that allows for learning cluster-specific embeddings while simultaneously learning the cluster assignment. For the linear setting we prove that TAE can recover the principle components of the different clusters in contrast to principle component of the entire data recovered by a standard AE. We validated this on planted models and for general, non-linear and convolutional AEs we empirically illustrate that tensorizing the AE is beneficial in clustering and de-noising tasks.
translated by 谷歌翻译
由于其复杂结构和顶点对应，在各种应用中遇到了网络价值的数据并在学习中提出挑战。这些问题的典型示例包括蛋白质结构和社交网络的分类或分组。已经提出了各种方法，从图形内核到图形神经网络，从而在图形分类问题中取得了一些成功。然而，大多数方法都有有限的理论典范化，其超越分类的适用性仍未开发。在这项工作中，我们提出了用于群集多个图形的方法，而没有顶点对应，这是由最近关于估计与图形的无限顶点限制对应的石墨函数的文献的启发。我们提出了一种基于排序和平滑的石墨估计的新颖曲线距离。使用所提出的图形距离，我们呈现了两个聚类算法，并表明他们实现了最先进的结果。我们在图形度上的Lipschitz假设下的两个算法下的统计一致性。我们进一步研究了建议的距离的适用性，用于图形两样测试问题。
translated by 谷歌翻译
我们介绍Samanantar，是最大的公开可用的并行Corpora Collection，用于指示语言。该集合中的英语和11个上线语言之间总共包含4970万句对（来自两种语言系列）。具体而言，我们从现有的公共可用并行基层编译1240万句对，另外，从网络上挖掘3740万句对，导致4倍增加。我们通过组合许多语料库，工具和方法来挖掘网站的并行句子：（a）Web爬行单格式语料库，（b）文档OCR，用于从扫描的文档中提取句子，（c）用于对齐句子的多语言表示模型，以及（d）近似最近的邻居搜索搜索大量句子。人类评估新矿业的Corpora的样本验证了11种语言的高质量平行句子。此外，我们使用英语作为枢轴语言，从英式并行语料库中提取所有55个指示语言对之间的834百万句子对。我们培训了跨越Samanantar上所有这些语言的多语种NMT模型，这在公开可用的基准上表现出现有的模型和基准，例如弗洛雷斯，建立萨曼塔尔的效用。我们的数据和模型可在Https://indicnlp.ai4bharat.org/samanantar/上公开提供，我们希望他们能够帮助推进NMT和Multibingual NLP的研究。
translated by 谷歌翻译